Ông sinh ra và lớn lên trong một gia đình có truyền thống Nho học ở đất Hải Phòng. Thế nhưng ngay từ nhỏ, ông đã sớm đam mê bóng đá. Năng khiếu đá bóng của ông sớm phát lộ nên đến năm 1955, Vũ Văn Tư được chọn vào đội trẻ của Cảng Hải Phòng khi vừa bước qua tuổi 17.

Trong hơn 10 năm thi đấu, Vũ Văn Tư, được biết đến với biệt danh Tư "cá sấu", hợp cùng Nguyễn Văn Túc (Túc "gù"), Hoàng Kính Dịp và Đặng Ngọc Việt tạo nên bộ tứ tấn công "Tư, Túc, Dịp, Việt" trên hàng công trong sơ đồ chiến thuật 4-2-4.